Cisco Nexus 5548,2248

どうもCisco Nexus5548,2248を担当したnasuです。

今回サイバーエージェント様からお借りさせていただいたCisco Nexus 5548はデータセンター用スイッチです。
またCisco Nexus 2248はFabric ExtenderといってNexus7000や5000の親がいないと動作しないスイッチとなります。
これらの機材を今回バックボーンのL2スイッチとして使用させていただきました。
L2でしか運用しなかったので、バックボーンの中では一番楽に構築が出来ました。

Enhanced vPCについて

L2でしか使わなかったと言っても、テーマである冗長性を確保しないといけないので、Enhanced vPC(拡張vPC)という技術を使いました。
vPC(virtual PortChannel)というのはJuniperのMC-LAGと似てスイッチまたぎのLAGを構成が出来る技術です。
また拡張vPCを使うとFexであるNexus2248を親であるNexus5548のペアにデュアルホーム接続され、それと同時FEX配下のホストにもvPCを使用してFEXのペアにデュアルホームに接続ができます。

ここからは本番で実際使用したconfigの抜粋（一部IPアドレスやVLAN IDを変更しています）を出しながら簡単に説明していきたいと思います。

まずvPCを組むにはvPCを組むスイッチの渡りの線にvpc peer-linkと言われる10GEのポートチャネルを繋ぐ必要があります。

1. vPCの設定
   ではvPCの設定を入れていきます。
   最初にマネジメント用インターフェースにIPアドレスを設定してお互いが疎通できる状態にしておきます。
   そしてN5kの渡りのインターフェイスにchannnel-group(LACP)とvpc peer-linkの設定をいれます。

• N5k01

interface mgmt0
ip address 192.168.0.1/24

vpc domain 1
peer-keepalive destination 192.168.0.2

• N5k02

interface mgmt0
ip address 192.168.0.2/24

vpc domain 1
peer-keepalive destination 192.168.0.1

• N5k01 & N5k02

interface Ethernet2/15
switchport mode trunk
channel-group 1 mode active

interface Ethernet2/16
switchport mode trunk
channel-group 1 mode active

interface port-channel1
switchport mode trunk
spanning-tree port type network
speed 10000
vpc peer-link

以上でvpcの接続は完了です。

1. FEXの設定

interface Ethernet1/1
switchport mode fex-fabric
fex associate 101
channel-group 101

interface Ethernet1/2
switchport mode fex-fabric
fex associate 102
channel-group 102

interface port-channel101
switchport mode fex-fabric
fex associate 101
vpc 101

interface port-channel102
switchport mode fex-fabric
fex associate 102
vpc 102

fex 101
description "FEX101"
fex 102
description "FEX102"

ここまでの設定でお互いの親の5kが2kを2台とも認識ができます。
最後にサーバにつなぐLAGの設定です

1. MC-Linkの設定

• N5k01 & N5k02

interface Ethernet101/1/1
switchport mode trunk
channel-group 11 mode active

interface Ethernet102/1/1
switchport mode trunk
channel-group 11 mode active

interface port-channel11
switchport mode trunk
spanning-tree port type edge trunk

Nexus5548,2248 まとめ

データセンタースイッチをL2でしか使わなかったのでconfigも短いものでした。
それでもvlan定義はたくさんあるのでそこだけが長くなりましたね。
今回Nexus5kと2kを繋ぐために使ったモジュールはFET-10Gといって普通のSFP+モジュールとは違うものを使いました。
見た目はほぼSPF+と同じなのですが、FET-10GはNexus同士を繋ぐ専用のモジュールで、それ以外の用途では使うことはできないようです。

今回も踏んだバグ

トラコンでは毎回何かしらのバグを踏みます。今回も変なバグを見つけました。
〜〜夜中ホテルでリモート作業してる時〜〜
インフラリーダ「突如Nexusが再起動しだしたんだけどｗｗだれか今入ってる？ｗｗ」
nasu「いや誰もリーダー以外は入ってないですね」
某K氏「NX-OS bug url　これじゃない？」
インフラリーダ「私たちはまたバグを踏んでしまったのか」

どうやら今回使ってたNX-OSのバージョンではVLAN定義をまとめて流すと、再起動するというバグがあったみたいです。
少しづつ流せば再起動はしないようなので、そのようにして対処しました。